UniNote: A Unified Embedding Model for Multimodal Representation and Ranking
UniNote：面向多模态 I2I 检索的统一嵌入与排序模型
🧭 多模态嵌入 · 统一检索排序框架 ★ 深度解读
Xiaohongshu Inc. · Shanghai Jiao Tong University · Huazhong University of Science and Technology · Beijing Institute of Technology
提出两阶段训练范式，将对比 SFT 与 GRPO 强化学习结合，实现多模态 I2I 检索与相关性排序一体化
📌 工作参考价值（4 点）
- 多任务统一嵌入构建：将 I2I 检索细化为 10 种具体任务（原子对齐、局部检索、OCR 感知等），通过模态替换与描述生成构造训练对，可直接借鉴用于电商商品多模态检索的统一 embedding 模型。
- 两阶段训练解锁检索-排序一体化：第一阶段用对比 SFT + 多粒度硬负样本挖掘（相似度区间设置 + 规则负样本）训练基础嵌入，第二阶段用 GRPO 多维度奖励（无关惩罚、基础奖励、绝对/相对位置奖励）直接在嵌入空间优化排序，省去额外重排序模型，适合对延迟敏感的线上召回。
- MRL 实现灵活部署：训练时融入 Matryoshka Loss，可输出 64/512/1024/4096 维嵌入，512 维已接近全维性能，为不同存储与算力约束的工业场景提供按需降维的选择。
- 在线/离线双模式架构：高并发小库验证 + 低请求大库检索的部署设计，用一次嵌入同时支持多种下游匹配，大幅降低资源开销，可直接参考用于 Agent 或推荐系统中的实时物品检索。